Centro Federal de Educação Tecnológica de Minas Gerais

"A afirmação da equipe é uma afirmação incorreta a queda contínua da perda de treino indica que o modelo se tornou especialista naqueles dados de treinamento e perdeu a capacidade de generalizar, no entanto a partir da época 8 o modelo começa a sofrer overfitting, ou seja ele começa a errar as predições de novos dados."

"Dados categóricos devem ser convertidos em numéricos aplicando-se a tecnica de one hot incoding e os dados numéricos devem ser normalizados. O backpropagation serve para ajuste dos pesos no treinamento a cada época, indicando a direção e a necessidade e grau de ajuste"

"Antes de avaliar o modelo é necessário extrair as métricas para avaliar precisão, Recall, F1-Score, são métricas que ajudam a verificar a capacidade de previsão do modelo, escolhendo aumentar uma métrica que diminua a consequência caso haja um erro de previsão. Uma medida concreta para garantir reprodutividade é usar earlystop para verificar a validação e parar o treinamento antes de sofrer overfitting"

"É necessário uma análise durante o treinamento de treino e validação para não treinar demais ao ponto de não ser generalista. É interessante comparar os dois turnos e verificar o resultado se a rotulação predita está compatível com a real"

"A CNN (rede convolucional) é ideal para esse problema porque lida com precisão de imagem, entretanto pelo custo operacional é necessário carregar um modelo pré-treinado e congelar os pesos durante o treinamento, após isso como é apresentado poucos dados para melhorar o modelo é essencial regularizar usando data augmentation, pegando os dados já existentes e rotacionar, aplicar alguns filtros e transformações para aumentar os dados"

"É necessário aumentar as amostras para o modelo ter um treinamento melhor e capaz de generalizar mais então coletar mais dados realizar data augmentation contribui para isso. Outro ponto é avaliar as métricas, porque sem uma análise de métricas, pode dar uma falsa sensação de resultado bom."

"Porque ouve uma falsa sensação de aceitável, 0,5 não quer dizer 50% na verdade é somente 18% do real o que deixa passar ainda muitos erros por estar mal calibrado"

"A matriz de confusão deve ser bem analisada para o contexto específico, então a escolha do ponto deve levar em conta os efeitos colaterais de um erro. Dessa forma, deve priorizar a analise de uma métrica que reduza o dano."

"É necessário um monitoramento das previsões, qual os resultados, monitorar as entradas e caso disparado uma anomalia revisar imediatamente o modelo de treinamento"

"no uso de Transformers/BERT é levado em conta contextos já WORD2VEC gera vetores fixos. O cosseno calcula a similaridade semântica com base na direção do vetor mas não garante a relevância real de documentos"

"Porque você não tem uma garantia apenas pela analise visual é necessário validações como 'ground truth' para analisar as métricas de relevância dos documentos com base nos top k itens"

"Porque a busca híbrida analisa tanto buscas semânticas como também busca léxicas o que faz com que haja um desempenho melhor que busca vetoriais puras não cobrem."

"O maior escore não vai garantir uma resposta correta, é necessário um limiar mínimo para que o agente não alucine e cuspa uma resposta incorreta mas porque teve que dar uma resposta por não ter um limiar mínimo"

"Deve ser validado, tanto com metricas, na qual especialistas vão dizer quais documentos são relevantes e atribuir metricas a partir do resultado gerado, quanto os documentos devem carregar metadados de origem. Deve ser feito consultas: queris respondíveis e não respondíveis, no qual quando não respondível, o score abaixo do limiar dizer que não tem informações sobre isso e não trazer respostas alienadas"

"Deve ser monitorado através dos metadados que carregam apresentando uma serie de informações do documento retornado"